В тот день, когда весь мир не ушел

Вчера, 19 февраля, в Интернете была замечена еще одна демонстрация удобной функции Noction, которая, вероятно, должна помочь вам разбогатеть, но, скорее всего, сделает вас печально известной.

Начиная с 09:48 UTC мы увидели около 200 тысяч маршрутов с ранее не существующими префиксами с неработающим AS_PATH. Но обо всем по порядку.


День начался с довольно резкого и жужжащего звука уведомлений по электронной почте о критических событиях маршрутизации, которые, как видите, обрезаются на таком высоком пороге, что мы считаем их глобальными.

Мы выяснили, что у всех этих глобальных инцидентов есть одна общая черта — затронутые префиксы видны только локально. Их заметил только один из говорящих, и они появились мгновенно.

Практически все маршруты содержали похожие детали — «44393 14570 40676». AS44393 — Securebit Route Collector, AS14570 — I Am A Bad Actor, LLC (мы оценили воображение) и AS40676 — Psychz Networks (нам понравился саундтрек).

Пример (Примечание: отсутствует в RIPEDB stat.ripe.net/widget/routing-status#w.resource=189.203.175.128%2F25&w.min_peers_seeing=0):


Почти для всех префиксов имелся соответствующий объект правильного маршрута (всего 12000 различных ISP в качестве исходных ASN). Тем не менее, количество префиксов с недопустимым ROA было больше, чем количество действительных. Кто-то (или несколько) сбросил кучу под-префиксов для допустимых префиксов и вставил для них точный ASN в AS_PATH.


Большинство злоумышленников (90%) были / 25 действительных / 24 — знакомый признак «оптимизации» маршрутизации в действии.

Хотя некоторые неординарные особенности нас насторожили. В отличие от обычных маршрутов оптимизатора, почти все новые маршруты приводили только к неверным префиксам. Но это можно объяснить тем, что AS44393 сам по себе является сборщиком маршрутов и уже имеет лучшие маршруты к хорошим префиксам.

Что еще более странно — от AS_PATH к bad_prefixes содержится более 4000 новых ссылок, которые мы никогда раньше не видели. Таким образом, в отличие от типичных оптимизаторов, as_path для новых префиксов не были взяты из действительных префиксов, а были созданы на месте с действительным ASN, вставленным в конце AS_PATH (для прохождения проверки ROA в случае отсутствия порога максимальной длины).


Мы писали письма людям, ответственным за AS44393 и AS14570. Они сказали нам, что находятся на принимающей стороне, а не на исходящей, в результате чего нам остается только AS40676. Мы были удивлены, увидев AS40676 на интересной веб-странице: www.noction.com/clients. Это имя AS (Psychz Networks) указано как клиент компании-разработчика оптимизатора BGP. Итак, в конце концов, корень проблемы снова оказался в нем.

Остается последний вопрос — почему все новые префиксы не распространяются по всему миру? Простой ответ — немного удачи, потому что эти плохие маршруты были получены сборщиком маршрутов, что останавливает их дальнейшее распространение. В противном случае, к моменту выхода этой статьи, все новости будут об этом говорить.

Что тут сказать? Оптимизация маршрута — это всегда способ прострелить себе ногу в самый неподходящий момент. И если вы не используете ROA с max_length, вы не заметите, что кто-то поранил вас этим оружием без стороннего мониторинга. Но последняя радостная мысль: вы знаете список всех владельцев оружия.

Кроме того, мы хотим предупредить всех региональных * участников NOG: пожалуйста, если вы знаете, что в вашем регионе кто-то использует оптимизатор BGP в повседневной работе, убедитесь, что у вас есть все необходимые инструменты для предотвращения последствий такие манипуляции со стороны соседа.

Подготовка к проблеме



27 января 2021 года произошла весьма своеобразная утечка на маршруте. AS61666 — GLOBO начала объявлять префиксы своего восходящего провайдера MHNET — AS28146 другому своему провайдеру ALGAR — AS16735. За три минуты GLOBO утекло 1330 префиксов, и весь инцидент с маршрутизацией длился 8 минут — времени, которого хватило, чтобы создать 1435 конфликтов в 21 стране с 265 ASN, в основном в Бразилии (194 ASN), США (22 ASN) и Венесуэле. (7 ASN).



Этот инцидент распространился среди 86% спикеров BGP на пике, что составляет значительный процент. Почти 10% префиксов в утечке имели Invalid ROA (154 префикса) и не помогли предотвратить распространение.



Но что еще более впечатляет в этой утечке маршрутов, так это то, что эти пути имели ОГРОМНЫЙ добавление в их атрибут AS_PATH — 16 (!).


В нормальной ситуации префиксы с такими сильно добавленными AS_PATH распределяются плохо, поскольку обычно можно найти более легкий и короткий альтернативный маршрут и, в конечном итоге, принять его за лучший. Однако в этой утечке мы видим много добавленных AS_PATH, которые удалось распространить глобально. Как это произошло?

Более короткий маршрут не победит в испытании пути, если такого маршрута нет. В этом случае распределение было лучше на просочившихся маршрутах только для тех префиксов, которые до инцидента не были распределены глобально (что указывает на локальное использование).

Оказывается, что почти все такие префиксы заранее были покрыты менее конкретными префиксами — это означает, что локальный / 24, просочившийся в инцидент, был покрыт глобально распределенным / 23 перед инцидентом. Если в этих сетях существовала какая-либо служба — до утечки они были доступны по менее конкретным и регулярным маршрутам. После (и во время) инцидента возникли более конкретные префиксы с огромными префиксами, которые начали распространяться, поэтому весь трафик проходил через просочившуюся ссылку.


Таким образом, в этом конкретном случае даже огромные префиксы не были проблемой для глобального распространения просочившихся префиксов из-за их предшествующего локального использования.

Приглашение на десятилетний юбилей Qrator Labs



19 января 2021 года компания Qrator Labs официально отмечает десятилетний юбилей!

Мы хотим воспользоваться этой уникальной возможностью и провести небольшую онлайн-конференцию для всех, кто хочет узнать больше об истории, команде, услугах и продуктах Qrator Labs.

Каждое выступление рассчитано на 15-20 минут, поэтому каждый зритель может рассчитывать на два с половиной часа презентаций от ключевых сотрудников Qrator Labs.

Отмечайте 19 января 2021 года в своих календарях, потому что вот что будет происходить начиная с 14:00 Московского времени.

I/III — Первый Час
10 лет развития бизнеса: с нуля к росту, путь от первых клиентов и спасенных карьер к захвату рынков новейшими технологиями.
Максим Белоенко, вице-президент глобальных продаж.
Создание технологии опережающей конкурентов, нескончаемое научное исследование на стыке информатики и практики реального мира.
Артем Гавриченков, со-основатель и технический директор Qrator Labs.
5-минутный перерыв

II/III — Второй Час
Интеграции с облаком Qrator Labs — как мы работаем над улучшением сервисов, которые предоставляем под одной крышей — партнерскими решениями CDN и WAF.
Андрей Лескин, менеджер по продукту.
Qrator Radar — пятилетнее путешествие от внутренней разработки к одному из крупнейших в мире специализированных сервисов.
Евгений Богомазов, сетевой инженер.
5-минутный перерыв

III/III — Третий Час
Пресейл и интеграция:
  • Технический пресейл — как мы принимаем на борт наиболее крупных клиентов;
  • Партнерская интеграция — сделай единожды и наслаждайся результатом;
  • Продуктовое видение — сделай дважды и у тебя на руках почти готовый продукт.
Георгий Тарасов, инженер.
Жизнь NOC (Центра управления сетью) в компании занимающейся кибербезопасностью.
Дмитрий Шемонаев, глава Центра Управления Сетью.
Заключительное слово и итоги десятилетия компании. Работа с заказчиками в 20-х годах, грядущие инновации. Дальнейший рост компании первого эшелона на базе исследовательской деятельности и взаимоотношений с потребителем, как с инвестором.
Сергей Пасечник, директор отдела продаж.
До встречи 19 января!

youtu.be/L-yKHlcbJ2w
С наилучшими пожеланиями, Qrator.net team

AS9304 утечка префиксов 8764 через AS15412

Можно было бы ожидать, что 2021 год начнется несколько иначе, чем хаос прошлого года. В Qrator.Radar мы тоже надеялись на лучшее. К сожалению, уже 6 января — сегодня мы ошиблись.


Начиная с 4:21 UTC, из AS9304 — провайдера HGC Global Communications Limited из Гонконга — произошло огромное количество префиксов по сравнению со средней утечкой — 8764. Они содержали IP-адреса 907 ASN из 66 стран, что привело к 9140 конфликтам. в целом.

Активная фаза инцидента длилась около 2,5 часов, после чего сократилась.


Если такая утечка распространится по всему миру, это будет катастрофическим инцидентом, связанным с маршрутизацией для всех участников. По совпадению, на этот раз этого не произошло. По данным наших наблюдений, только ⅓ автономных систем в утечке принимали эти префиксы.


Среди наиболее пострадавших от этой утечки маршрута оказались известные участники Интернет-транзита из ЕС и США, такие как Akamai и Cloudflare. Однако объем утечки префиксов был настолько широк, что для компании с обширной компьютерной сетью почти невозможно не пострадать от такого инцидента.

Наконец, только для 1% префиксов в утечке распространение было действительно глобальным. По большей части эта утечка имела ограниченную известность и охват во всем мире. Что по-прежнему может быть довольно опасным и привести к потере трафика и доступности в определенных регионах.

Базирующаяся в Великобритании AS15412, принадлежащая Flag Telecom Global Internet, сегодня извлекла ценный урок. Теперь у сетевых инженеров этой компании больше не должно возникать вопросов о необходимости как входящей, так и исходящей фильтрации по префиксу.

Национальное исследование надежности интернет-сегментов 2020 года



Национальное исследование надежности сегмента Интернета объясняет, как отключение одной автономной системы может повлиять на возможность подключения затронутого региона к остальному миру. В большинстве случаев наиболее важная автономная система в регионе является доминирующим интернет-провайдером на рынке, но не всегда.

По мере увеличения числа альтернативных маршрутов между AS (и не забывайте, что Интернет означает «взаимосвязанная сеть» — и каждая сеть является AS), то же самое происходит с отказоустойчивостью и стабильностью Интернета во всем мире. Хотя некоторые пути с самого начала более важны, чем другие, создание как можно большего числа альтернативных маршрутов является единственным жизнеспособным способом обеспечить достаточно надежную сеть.

Возможность глобального подключения любой данной AS, независимо от того, является ли она международным гигантом или региональным игроком, зависит от количества и качества ее пути к ISP уровня 1.

Обычно под Tier-1 подразумевается международная компания, предлагающая услуги глобального IP-транзита через соединения с другими провайдерами Tier-1. Тем не менее, нет гарантии, что такое подключение будет поддерживаться все время. Для многих интернет-провайдеров на всех «уровнях» потеря соединения только с одним одноранговым узлом уровня 1, вероятно, сделает их недоступными из некоторых частей мира.

Методология измерения надежности Интернета
Рассматривая случай, когда в AS происходит деградация сети, мы хотим ответить на следующий вопрос: «Сколько AS в одном регионе потеряют связь с операторами уровня 1 и их глобальную доступность вместе с ним?»

На протяжении многих лет мы моделируем такую ​​ситуацию, потому что на заре BGP и дизайна междоменной маршрутизации его создатели предполагали, что у каждой нетранзитной AS будет как минимум два вышестоящих провайдера, чтобы гарантировать отказоустойчивость в случае отказа одного из них.

Однако нынешняя реальность иная; менее половины всех интернет-провайдеров в мире имеют только одно соединение с восходящим транзитным провайдером. Ряд нестандартных отношений между транзитными интернет-провайдерами еще больше снижает доступность.

Были ли когда-нибудь отказы транзитных интернет-провайдеров? Ответ — да, и это происходит все чаще. Более уместен вопрос — при каких условиях конкретный интернет-провайдер может столкнуться с настолько серьезным ухудшением качества услуг, которое мы бы назвали простоем? Если такие проблемы кажутся маловероятными, возможно, стоит принять во внимание закон Мерфи: «Все, что может пойти не так, обязательно пойдет».

Для моделирования такого сценария мы применяем одну и ту же модель четвертый год подряд. Хотя, опять же, мы не просто повторили предыдущие расчеты — с годами исследования расширяются.

Для оценки надежности AS были предприняты следующие шаги:
Для каждой AS в мире мы исследуем все альтернативные пути к операторам Tier-1 с помощью модели отношений AS, ядра Qrator.Radar;
  • Используя базу данных Maxmind GeoIP, мы сопоставили страны с каждым IP-адресом каждой AS;
  • Для каждой AS мы рассчитали долю ее адресного пространства, соответствующую соответствующему региону. Были отфильтрованы интернет-провайдеры, которые находятся в точке обмена данными в Интернете в регионе, где они не имеют значительного присутствия. В качестве примера мы используем Гонконг, где трафик обменивается между сотнями членов HKIX — все же крупнейшей азиатской интернет-биржи, большинство из которых не имеют никакого присутствия в местном сегменте интернета;
  • Выделив региональные автономные системы, мы проанализировали возможное влияние сбоя одной из них на другие автономные системы, а также на их страны;
  • В конце концов, для каждой страны мы определили AS с наибольшим / наибольшим влиянием на другие AS в их регионе. Иностранные AS не рассматривались.
  • Мы приняли значение воздействия этой системы как показатель надежности для страны. И использовал этот балл для оценки надежности стран. Чем меньше баллов — тем выше надежность.

Надежность IPv4

Столбец 2019 представляет собой балл, который отдельная страна имела в рейтинге 2019 года на определенной позиции.

Короче говоря:
Соединенные Штаты восстановили 10 из 11 позиций, которые они потеряли в 2019 году, оставаясь на 8 позиции в 2020 году;
  • В ТОП-20 рейтинга надежности вошли четыре новые страны: Лихтенштейн, Япония, Индонезия и Аргентина.
  • Четыре страны фактически покинули первую двадцатку: Ирландия, Болгария, Люксембург и Чехия, которая в этом году занимает 21 позицию.
  • Гонконг опустился на восемь позиций и замыкает Топ-20 в 2020 году;
  • Сингапур потерял 11 позиций.
  • Многолетний лидер рейтинга — Германия — уступила место лидеру рейтинга надежности 2020 года Бразилии.
  • Каждый год в рейтинге надежности происходят захватывающие сдвиги, зачастую соответствующие тому, что происходит внутри соответствующих регионов.

Перво-наперво — общая тенденция глобальной надежности, рассчитанная как средняя и средняя. На этот раз мы смотрим на пять лет непрерывных исследований:


В 2020 году количество стран, которые успешно повысили показатель надежности до менее 10%, что свидетельствует о высокой отказоустойчивости, увеличилось на 5 второй год подряд, достигнув в общей сложности 40.

Как вы также можете видеть, средний показатель надежности со временем улучшается. Однако с 2018 года медиана остается на сопоставимом уровне — нижняя часть рейтинга не улучшается достаточно быстро по сравнению с верхней.

Однако остается самый важный факт — за период нашего исследования и IPv4, и IPv6 показали значительное улучшение надежности. Более того, в будущем неизбежен момент, когда версия рейтинга IPv6 станет основной.

Надежность IPv6
В 2020 году кажется, что что-то изменилось в восприятии и принятии протокола IPv6. Google получает наиболее подходящую статистику, о которой мы хотим упомянуть.


По состоянию на сентябрь 2020 года почти 30% пользователей Google используют собственное соединение IPv6, что фактически означает, что их интернет-провайдеры поддерживают версию IP-протокола v6.

Хотя основная проблема с IPv6 все еще сохраняется — это частичное подключение. Из-за пиринговых войн, а не повсеместного внедрения IPv6 и других проблем, IPv6 все еще имеет проблему ограниченной видимости сети. Чтобы лучше понять это, взгляните на надежность IPv6 в сравнении с частичной скоростью подключения.


Из этой таблицы сравнения надежности и частичного подключения IPv6 очевидно, что есть несколько стран, где частичное подключение по IPv6 превышает 10%: Италия, Гонконг, Ирландия, Румыния.

Рассматривая частичное подключение в сочетании с «классическим» процентом надежности, показывающим долю недоступных в случае сбоя ресурсов, мы могли бы заявить, что только в Гонконге отказ IPv6 AS3491 приведет к тому, что 18% подключенных к IPv6 ресурсов станут недоступными.. 16% в Ирландии; почти то же самое в Италии и Румынии. Эти цифры высоки даже в Великобритании — 7,5%, Германии — 8%, США — 15%.

Наименьшее значение среди IPv6 Top-20 принадлежит Бразилии — 4,66%, Нидерландам — ​​4,72% и Японии — 5,24%.

Кажется, что в 2020 году ситуация изменилась, и надежность IPv6, даже с учетом частичного подключения, выглядит лучше, чем у IPv4. Средний показатель надежности IPv4 в 2020 году составляет 36,22%, а для IPv6 те же показатели достигают 28,71% — и, когда мы измеряем влияние сбоев, чем ниже показатель, тем лучше. Однако необходимо отметить, что принятие IPv6 в странах в два раза меньше, чем в случае IPv4 — более новой версии протокола еще предстоит пройти долгий путь до полного принятия.

Широкополосный Интернет и записи PTR
«Всегда ли ведущий интернет-провайдер страны влияет на надежность региона больше, чем кто-либо другой?» — на этот вопрос мы пытаемся ответить с помощью дополнительной информации и расследования. Мы предполагаем, что наиболее значительный (по пользовательской или клиентской базе) интернет-провайдер в регионе не обязательно является самым важным для сетевого подключения региона.

Два года назад мы начали анализировать записи PTR. Как правило, записи PTR используются для обратного поиска DNS: использование IP-адреса для определения связанного имени хоста или имени домена.

Поскольку нам уже известны крупнейшие автономные системы для каждой страны мира, мы можем подсчитать записи PTR в их сети и определить их долю в общих записях PTR для соответствующего региона. Мы считали только PTR-записи и не рассчитывали соотношение IP-адресов без PTR-записей к IP-адресам с ними.

Итак, мы говорим строго об IP-адресах, в которых есть PTR-записи. Практика их добавления не универсальна; некоторые провайдеры делают это, а другие нет.

В рейтинге на основе PTR мы смотрим, какая часть IP-адресов с поддержкой PTR перейдет в автономный режим из-за отключения автономной системы каждой страны, и какой процент соответствует соответствующему региону.


Такой подход, учитывающий PTR-записи, дает совсем другие результаты. В большинстве случаев меняется не только основная региональная AS, но и процентное соотношение. Во всех в целом надежных (с точки зрения глобальной доступности) регионах количество IP-адресов с поддержкой PTR, которые отключаются после выхода из строя одной автономной системы, в десятки раз больше. Это может означать, что ведущий национальный интернет-провайдер всегда обслуживает конечных пользователей в тот или иной момент.

Таким образом, мы должны предположить, что этот процент представляет собой часть пользовательской базы и клиентской базы интернет-провайдера, которая перейдет в автономный режим (если переключиться на второго интернет-провайдера невозможно) в случае сбоя. С этой точки зрения страны кажутся менее надежными, чем они выглядят с точки зрения транзита. Мы оставляем читателю возможные выводы из этого рейтинга PTR.

Интернет-провайдеры с одним восходящим потоком (тупиковые сети) и их надежность
В семи из двадцати стран с самым высоким рейтингом надежности IPv4 мы обнаружили интересную деталь. Предположим, мы ищем крупнейшего провайдера для «тупиковых сетей», которые по сути представляют собой сети только с одним восходящим провайдером. В этом случае мы найдем другие AS и ISP, отличные от того, который отвечает за текущую классическую метрику надежности для соответствующего национального сегмента.


Здесь мы выделили страны, входящие в верхнюю часть рейтинга надежности IPv4 и рейтинга надежности IPv6 на 2020 год.

Давайте поговорим о наиболее заметных различиях между критически важной автономной системой с точки зрения глобального транзита и основным вариантом восходящего потока в конкретном регионе. Интересно отметить, что редко критическая AS для тупиковых сетей одновременно не является классической глобальной критической AS.

AS174 — Cogent — особенный в IPv4. Изменения Cogent всегда интересно исследовать — поскольку Tier-1 с сильным присутствием в Европе несет огромную ответственность, поскольку он также является критически важной AS для тупиковых сетей, а также глобального транзита. В 2020 году это критически важная AS для тупиковых сетей IPv6 во Франции и Бельгии, а в IPv4 Cogent отвечает за все показатели надежности в Великобритании, Франции, Бельгии (из первой двадцатки IPv4), а также за глобальные показатели надежности Ирландии и Ватикана.

Однако пример Гонконга несколько выдающийся. Классической критически важной AS для подключения к IPv4 в регионе является AS3491 — PCCW Global, провайдер уровня 1. Однако критически важной AS для тупиковых сетей является AS4515 — ERX-STAR — подключенная как к PCCW Global, так и к Hong Kong IX. Таким образом, для ERX-STAR ситуация следующая: если AS3491 каким-то образом выйдет из строя — он все равно сохранит региональную связь через IX, если, с другой стороны, IX выйдет из строя — данные будут по-прежнему доступны глобально через Tier-1. сеть.

Это частный пример того, как значительный и глубокий Интернет-обмен в одном регионе может заменить второго сильного вышестоящего провайдера. Если поблизости есть большой IX, подключившись к нему и только к одному классическому транзитному провайдеру, вы можете получить почти такую ​​же региональную надежность, как и при подключении к двум транзитным восходящим потокам. Хотя, опять же, IX не может полностью заменить соединение уровня 1 в глобальном смысле — это отличный пример регионального или глобального соединения.

AS6939 — Hurricane Electric — это критически важные автономные системы тупиковых сетей в Гонконге и США для IPv6.

В IPv4 он также меняется — в США классическая надежность проистекает из позиции AS3356, принадлежащей интернет-провайдеру CenturyLink, но критически важной AS для тупиковых сетей в версии 4 является AS7018 от AT&T — еще один уровень 1 в национальном сегменте Соединенных Штатов.

Подробности по регионам
Одним из наиболее важных вопросов, которые нужно задать себе при проведении исследования 2020 года, был: «Каким образом американскому сегменту удалось восстановить некоторую надежность после резкого падения на 11 позиций в прошлом году и повысить отказоустойчивость Интернета в национальном сегменте без подмены? рассматриваемый интернет-провайдер — CenturyLink? »

Ну, во-первых, CenturyLink мог потерять часть своей рыночной стоимости, и это, вероятно, основная причина улучшения показателей. Хотя трудно сказать наверняка, мы склонны думать, что сбои CenturyLink в предыдущие годы и самый последний, вероятно, побудили их клиентов хотя бы попытаться найти некоторые дополнительные возможности транзита, если не отказаться от дальнейшей услуги CenturyLink в все.

Падение позиций Гонконга при переходе с 2019 на 2020 год может быть связано с изменяющейся ситуацией в регионе, хотя доля рынка PCCW в этом году почти очевидно колебалась.

Мы обрисовали в общих чертах сингапурские изменения в критической AS для региона в прошлогоднем исследовании и, глядя на текущее изменение; можно утверждать, что AS4657 может и дальше завоевывать рынок, консолидируясь в качестве основного интернет-провайдера страны — это неизбежно приведет к падению оценки надежности.

Когда мы пишем это исследование из Чешской Республики, мы чувствуем себя обязанными выделить важные детали об интернет-сегменте CZ. Это, вероятно, единственный регион, который мы знаем наверняка, в котором нет ни одного интернет-провайдера, стоящего за критически важной для страны автономной системой. Вместо этого AS47232 — ISPAlliance — который имеет решающее значение для всех показателей (классические глобальные транзитные сети и тупиковые сети), является бесплатным и добровольным объединением небольших интернет-провайдеров в Чешской Республике. Как пишет компания на своей странице «Цели и видение»:

Местные операторы связи сталкиваются с множеством трудностей на рынке, что ставит их в невыгодное положение по сравнению с крупными брендами, ведущими международную конкуренцию, и теми, кто ведет несправедливую игру. ISP Alliance a.s. мы создали его, чтобы преодолеть эти трудности

Это помогает преодолеть присутствие гораздо более значительных игроков в национальном сегменте! Это хороший пример объединения группы ради разумной общей цели, что привело к хорошей оценке надежности, поскольку даже после того, как четыре новые страны вошли в топ-20 в 2020 году, Чешская Республика находится на 21-м месте с рейтингом надежности 6,5%. Более того, такой небольшой (по сравнению с размерами других лидеров) национальный сегмент, занимающий восьмое место по количеству автономных систем с поддержкой IPv6, — это просто вещь, за которую следует поблагодарить всех, кто участвует в построении и обслуживании компьютерных сетей.

Спасибо, что прочитали Исследование надежности! Если у вас возникнут какие-либо вопросы, напишите нам на radar@qrator.net

Что происходит с интернет-сегментом BY с точки зрения BGP и IPv4 / IPv6

Прежде чем мы начнем исследовать то, что происходит с Интернетом в Беларуси и за ее пределами, позвольте процитировать пару предложений, которые мы повторяем в ежегодном Национальном исследовании и отчете по надежности:

«Строго говоря, когда BGP и мир междоменной маршрутизации находились на стадии проектирования, создатели предполагали, что у каждой нетранзитной AS будет как минимум два восходящих провайдера, чтобы гарантировать отказоустойчивость в случае отказа одного из них. Однако реальность иная; более 45% интернет-провайдеров имеют только одно соединение с восходящим транзитным провайдером. Ряд нетрадиционных отношений между транзитными интернет-провайдерами еще больше снижает надежность. Итак, проваливались ли когда-нибудь транзитные интернет-провайдеры? Ответ — да, и это случается довольно часто. Более уместный вопрос — при каких условиях конкретный интернет-провайдер испытает ухудшение качества обслуживания? Если такие проблемы кажутся маловероятными, возможно, стоит принять во внимание закон Мерфи: «Все, что может пойти не так, обязательно пойдет».

Почему мы повторяем это, а не начинаем с фактов и временных шагов, как обычно? Потому что, с нашей точки зрения, именно так обстоит дело с белорусским интернет-сегментом. Давайте посмотрим на две диаграммы, представляющие сеть BGP в Беларуси месяц назад, в начале июля 2020 года:

IPV4

IPV6


Что мы здесь видим? Мы видим две важнейшие АС: 6697 — Белпак, национальная телекоммуникационная монополия, и 60280 — Национальная биржа трафика, почти полностью отвечающая за подключение Беларуси к внешнему миру.

Любопытная AS21274, очевидно принадлежащая Национальной академии наук Беларуси, является единственной сетью, которая обходит Белпак и NTEC при трансграничном соединении. Более того, неудивительно, что ресурсы, размещенные в AS21274, очень доступны (http://basnet.by/en/index.html), в отличие от содержимого 6697 и 60280.

Однако давайте подробнее рассмотрим сетевые события, которые начнутся 8 августа 2020 года.

Первое, что привлекло наше внимание, это то, что сеансы IPv6 были отключены обеими национальными телекоммуникационными компаниями незадолго до того, что произошло после. Согласно данным Qrator.Radar, более 80% префиксов IPv6 были недоступны с 18:00 UTC 8 августа. Более того, это продолжается в течение трех дней подряд — очень необычный образ действий, учитывая растущее использование IPv6.

AS6697 IPv6 upstreams


AS60280 IPv6 providers…

… И одноранговые узлы IPv6 (это почти то же самое с одноранговыми узлами IPv6 Belpak, которые упали с 73 9 августа до 0 10 августа и 2 сегодня, 11 августа).



Как видите, эти две автономные системы по какой-то причине почти полностью отключили свои возможности подключения к IPv6 и до сих пор не восстанавливали их. Мы могли только предполагать, по какой конкретной причине это было сделано, но исключение почти всего IPv6 из обслуживания — это то, что можно было сделать только «изнутри» — мы никогда не видели такого массового и одновременного «внешнего» отключения IPv6.

Однако с IPv4 все гораздо сложнее.

На первый взгляд, со стороны практически ничего не изменилось. Эти две критически важные автономные системы Беларуси по-прежнему подключены к своим глобальным апстримам даже после падения префикса на 20% 10 августа:

График подключения AS6697 BGP


График соединений AS60280 BGP


Таким образом, причина массовой недоступности ресурсов, размещенных внутри сегмента BY, и, наоборот, неспособности пользователей внутри Беларуси получить доступ к глобальным интернет-ресурсам, вероятно, находится где-то в другом месте.

К сожалению, у нас нет инсайдерской точки зрения, чтобы проанализировать, как поток трафика изменился в плоскости TCP / UDP, поэтому наш единственный вариант — посмотреть на информацию, все еще поступающую изнутри страны. Один из маркеров, на который мы хотим сослаться, — это поток исходящего трафика одного из крупнейших интернет-СМИ страны — tut.by; который сегодня опубликовал график, показывающий, как пропускная способность их каналов была сформирована вышестоящим провайдером, которым является Белпак — AS6697:


Если это так для каждого клиента AS6697, то у нас почти не возникает вопросов о том, почему подключение к сегменту BY и от него имеет такую ​​форму — потому что оно было сформировано таким образом, согласно приведенному выше графику, начиная с 10:30., UTC + 3, 10 августа.

Какова конкретная причина такого шага — мы не знаем. Даже без системы DPI такая искусственная перегрузка почти наверняка повлияет на поток трафика. А в текущей ситуации в Беларуси, где все больше и больше людей полагаются на Интернет для связи, с растущим объемом входящего и внепланового трафика, сокращение или ограничение пропускной способности почти наверняка приведет к отключению больших частей BY-сети., увеличивая побочный ущерб до состояния отказа в обслуживании.

Мы могли только надеяться, что AS6697 и AS60280 восстановят свое соединение как можно скорее, преодолев существующие ограничения инфраструктуры. Мы увидим через месяц после выхода отчета National Reliability Research за 2020 год, как эти события изменили положение сегмента BY за эти годы. Поскольку Интернет давно стал важной частью человеческой жизни, мы чувствуем себя обязанными напомнить всем, что каждое действие имеет как краткосрочные, так и долгосрочные последствия.

Обновление - атака завершена, пожалуйста, найдите полный RCA здесь



Совместный анализ Qrator Labs и Servers.com первой значимой атаки DDoS в дикой природе с использованием определенного вектора усиления TCP

AMSTERDAM и PRAGUE, 21 августа 2019 г. / PRNewswire / — Servers.com и Qrator Labs делятся информацией о недавних атаках, чтобы другие могли подготовиться и быть готовыми к этому в будущем. Обе компании предоставляют подробную информацию и анализ первой значимой атаки DDoS в дикой природе с использованием одного из векторов усиления TCP. Ниже приводятся временные рамки, анализ и выводы, а также ряд шагов, предпринимаемых для значительного снижения вероятности того, что любой новый вид атаки существенно повлияет на доступность серверов клиентов.

Временное ограничение
Воскресенье, 18 августа 2019 г.
  • 07:00 UTC: злоумышленники начали атаковать сетевую инфраструктуру Servers.com, создавая регулярные всплески трафика с высокой скоростью передачи пакетов. Доступность услуг в сети Servers.com не изменяется.
  • 07:10 UTC: Servers.com обратился к Qrator Labs, намереваясь защитить определенные IP-префиксы с помощью службы Qrator Ingress, управляемой посредством объявлений BGP.
  • 13:07 UTC: изменение в атаке: система мониторинга Servers.com сообщает о комбинации UDP-потока и TCP-SYN / ACK-атаки. Некоторые сети Servers.com подвержены атакам.
  • 13:20 UTC: Servers.com реализует инструмент, который изолирует сети, затронутые атакой, от сетей, которые не были затронуты, чтобы ограничить влияние атаки на клиентов внутри атакуемых сетей. Клиентам внутри затронутых сетей рекомендуется перейти на незатронутые. С этого момента и до смягчения атаки злоумышленники периодически меняли список целевых и нецелевых сетей, поэтому процесс миграции изоляции повторялся.

Понедельник, 19 августа 2019 г.
  • 15:08 UTC: Первоначальное объявление затронутых префиксов IP-адресов Servers.com через все входящие потоки сети Qrator MSSP, кроме CenturyLink / Level3 (подробнее об этом ниже).
  • 17:48 UTC: первое появление атаки через сеть Qrator распознается как атака со смешанным усилением UDP с преобладанием трафика LDAP. Атака успешно смягчается и продолжается до 18:54 UTC.
  • 19:01 UTC: Первый тактический своп: усиление UDP заменяется на усиление SYN / ACK. Атака успешно смягчается, и стабильно продолжается до 20 августа 2019 года в 06:33 по Гринвичу в общей сложности 11,5 часов.

Вторник, 20 августа 2019 г.
  • 06:35 UTC: Второе изменение тактики: усиление SYN / ACK заменяется смешанным усилением TCP + UDP. Атака успешно смягчается и продолжается до 07:11 UTC.
  • 07:53 UTC: Третий обмен тактикой: атака с использованием ковровой бомбардировки нацелена на большее количество IP-сетей Servers.com.
  • 08:27 UTC: остальные префиксы Servers.com подвержены переадресации через Ingress. Атака успешно смягчается.
  • 10:45 UTC: связь CenturyLink / Level3 становится полностью работоспособной (см. Ниже).

Детали атаки
  • Атака в основном состояла из усиления LDAP (со значительной частью фрагментированных дейтаграмм UDP) и трафика усиления SYN / ACK, при этом периодически присутствовали другие виды усиления UDP.
  • Трафик усиления SYN / ACK достиг своего пика около 208 миллионов пакетов в секунду, возможно, исключая значительную часть трафика, исходящего из клиентского конуса уровня 3, из-за статических петель, предполагаемых перегрузок транзитной линии и других проблем маршрутизации (см. Ниже).

Основные проблемы, стоящие за усилением SYN / ACK (и потоками пакетов на основе TCP в целом):
  • Этот вид DDoS-атаки практически не поддается отслеживанию из-за низкого уровня применения методов противодействия спуфингу (таких как BCP 38). Поскольку предполагается, что эти подходы требуют существенного изменения сети при определенных обстоятельствах, колларально ломая вещи, которые являются более важными для сети, ожидается, что принятие этих подходов останется на низком уровне в обозримом будущем, если IETF не примет другое прочная конструкция против спуфинга;
  • Способность интернет-провайдера или центра обработки данных обрабатывать такого рода DDoS-атаки с помощью BGP Flow Spec (или аналогичных методов) зависит от того, какое конкретное оборудование используется в их сети;
  • Для значительной части клиентов критически важна возможность подключения к внешней службе или шлюзу API через TCP. Сканеры, такие технологии, как OAuth или CDN, или такие предприятия, как системы кредитного скоринга или страховые компании, сильно зависят от внешних баз данных (или источников данных в целом);
  • Чтобы обеспечить надлежащую обработку поддельных SYN / ACK при сохранении возможности подключения к внешней службе, атакующей хостинговой компании придется отслеживать все исходящие SYN, чтобы позже сопоставить их с полученными SYN / ACK.
  • Последнее может быть выполнено различными способами, каждый из которых считается либо сложным для проектирования и развертывания, либо оказывает серьезное влияние на задержку сети и RTT, либо и то и другое;
  • Коэффициент усиления для усиления SYN / ACK, отсутствующий в относительно редких угловых случаях, предполагается между 1x и 5x. Это не является значительным показателем по сравнению с NTP 500+ или Memcached '9000+. Однако, принимая во внимание остальную часть проблем и сложные меры по смягчению, пятикратная скорость передачи пакетов DDoS может стать поворотным моментом.

Ряд неудачных событий еще больше повлиял на график смягчения последствий атаки:
Сеть Qrator Labs работает через множество восходящих интернет-провайдеров Tier-1 (или региональных Tier-1), одним из которых является AS3356 CenturyLink (ранее Level3).
Автономные системы Qrator (в основном, AS200449) являются полностью многосетевыми и основаны на любых вещах и предназначены для работы с одной или несколькими вышестоящими сетями, имеющими TITSUP или перегруженными в любое время. Сказав это, 2019 год знаменует собой один год для Qrator как гордого клиента CenturyLink. CenturyLink предоставляет Qrator отличный сервис связи как в Соединенных Штатах, так и в Европе.

Что сильно повлияло на сроки смягчения, так это политика обновления фильтра префиксов CenturyLink на 48 часов. И Qrator, и Servers.com обратились к своим соответствующим контактным точкам на уровне 3, пытаясь сократить это время ожидания, однако (учитывая, что настройка службы смягчения для производственной сети началась в воскресенье в UTC), мы были невозможно значительно сократить время ожидания.

Включение функционала tcpsack на сети фильтрации Qrator



18 июня 2019 года Qrator Labs уведомила клиентов и партнеров об обнаружении уязвимостей в реализациях стека протоколов TCP/IP, вследствие чего функционал TCP Selective Acknowledgement был отключен, а также был установлен запрет на установление соединений с малым MSS. Работы осуществлялись в срочном режиме после подтверждения уязвимостей.

К сожалению, отключение SACK, хоть и минимально, но все же влияет на производительность передачи данных по протоколу TCP, поэтому 22 июля 2019 года Qrator Labs возвращает функционал SACK на всей сети фильтрации.

Некоторые из ограничений, касающихся L3-фильтрации, останутся активными, обеспечивая прозрачную нейтрализацию атак, использующих упомянутые уязвимости, однако полноценная нейтрализация возможна только в случае использования обновленной операционной системы на серверах заказчиков.

Как мы писали ранее, необходимо применение обновлений и патчей по устранению уязвимостей, связанных с эксплуатацией уязвимостей реализаций TCP/IP. Работа с устаревшим ядром и незакрытой уязвимостью грозит отказом в обслуживании при условии ее эксплуатации злоумышленником. В особенности это касается CVE-2019-11477 (SACK Panic).

С уважением,
Команда Qrator Labs.

Насколько сложно сорвать службу в настоящее время?


Насколько сложно сорвать службу в настоящее время?
Сегодня мы часто говорим о ОАС и избыточности. И повышение роли облаков в общей инфраструктуре Интернета в. Кто-то говорит, что они будут играть решающую роль в доле трафика в ближайшем будущем. Тем не менее, есть и другие огромные интернет-провайдеров — Tier-1, он же крупнейшие операторы транзита, которые имеют транснациональные кабели и действительно являются частью исторической магистрали Интернета. Они часто играют роль последней инстанции в процессе фильтрации плохих маршрутов. Потому что у них есть сотни клиентов. Кроме того, почти все из этих клиентов верят в то, что они получили от интернет-провайдеров провайдера. Это главная причина, почему современные интернет-проекты полагаются на Tier-1s как флаг носителей и надеемся, что они будут применять новый механизм безопасности среди всех остальных.
Всегда ли это реальный сценарий?
radar.qrator.net/blog/how-difficult-is-to-disrupt-a-service-nowadays

Legacy Outage



Два дня назад, 5 мая 2019 года мы увидели своеобразный BGP сбой, затрагивающий автономные системы в конусе клиентов одного очень конкретны с номером 721.

В самом начале, мы должны выделить несколько деталей для наших читателей:
  1. Все номера автономной системы под 1000 называются «низшие Asns», поскольку они являются первыми автономными системами в сети Интернет, зарегистрированных IANA в первые дни (в конце 80-х) глобальной сети. Сегодня они в основном представляют правительственные ведомства и организации, которые были так или иначе вовлеченных в исследования Интернета и создания в 70-90s.
  2. Наши читатели должны помнить, что Интернет стал достоянием общественности только после того, как Департамент Соединенных Штатов обороны, которое финансировало начальный ARPANET, передал его в Агентство обороны связи, а затем в 1981 году, соединив его к CSNET с TCP ( RFC675 ) / IP (RFC791) над Х.25. Несколько лет спустя, в 1986 году, НФС сменил CSNET в пользу NSFNET, который рос так быстро, что сделало возможным ARPANET из эксплуатации к 1990 году.
  3. IANA была создана в 1988 году, и, предположительно, в то время, существующие НАС были зарегистрированы РИР. Не удивительно, что организация, которая финансировала первоначальное исследование и создание ARPANET, последующей передачей его в другой отдел из — за его оперативного размера и роста, только после диверсификации его в 4 -х различных сетей (Wiki упоминает MILNET, NIPRNET, SIPRNET и JWICS, над которой военные только NIPRNET не контролировали шлюзы безопасности общедоступного Интернета.

radar.qrator.net/blog/legacy-outage